<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">
<meta name="generator" content="Hexo 4.0.0">
  <link rel="apple-touch-icon" sizes="180x180" href="/images/apple-touch-icon-next.png">
  <link rel="icon" type="image/png" sizes="32x32" href="/images/favicon-32x32-next.png">
  <link rel="icon" type="image/png" sizes="16x16" href="/images/favicon-16x16-next.png">
  <link rel="mask-icon" href="/images/logo.svg" color="#222">
  <link rel="alternate" href="/atom.xml" title="dy2903的博客" type="application/atom+xml">

<link rel="stylesheet" href="/css/main.css">


<link rel="stylesheet" href="/lib/font-awesome/css/font-awesome.min.css">


<script id="hexo-configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    root: '/',
    scheme: 'Pisces',
    version: '7.5.0',
    exturl: false,
    sidebar: {"position":"left","display":"post","offset":12,"onmobile":false},
    copycode: {"enable":false,"show_result":false,"style":null},
    back2top: {"enable":true,"sidebar":false,"scrollpercent":false},
    bookmark: {"enable":false,"color":"#222","save":"auto"},
    fancybox: false,
    mediumzoom: false,
    lazyload: false,
    pangu: false,
    algolia: {
      appID: '',
      apiKey: '',
      indexName: '',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    },
    localsearch: {"enable":false,"trigger":"auto","top_n_per_article":1,"unescape":false,"preload":false},
    path: '',
    motion: {"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"slideDownIn","post_body":"slideDownIn","coll_header":"slideLeftIn","sidebar":"slideUpIn"}},
    translation: {
      copy_button: 'Copy',
      copy_success: 'Copied',
      copy_failure: 'Copy failed'
    },
    sidebarPadding: 40
  };
</script>

  <meta name="description" content="随着应用程序对服务器、存储系统的系统要求越来越高，单台设备有时已经无法满足需求了，此时我们有两种方法可以解决：  使用性能更高的机器，但是成本以及维护成本非常高，而且不见得适合所有的应用。  多台设备联合起来对外提供服务，这就是集群。   主机可以形成集群，存储设备也可以形成集群。目前中高端存储设备自身就有双控制器。 一些NAS设备可以在多台独立设备之间形成集群，并实现单一命名空间，即用户访问目录">
<meta property="og:type" content="article">
<meta property="og:title" content="大话存储，学习笔记（15章），集群概论-1">
<meta property="og:url" content="https:&#x2F;&#x2F;duyang2903.gitee.io&#x2F;2019&#x2F;11&#x2F;15&#x2F;%E5%A4%A7%E8%AF%9D%E5%AD%98%E5%82%A8%EF%BC%8C%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%8815%E7%AB%A0%EF%BC%89%EF%BC%8C%E9%9B%86%E7%BE%A4%E6%A6%82%E8%AE%BA-1&#x2F;index.html">
<meta property="og:site_name" content="dy2903的博客">
<meta property="og:description" content="随着应用程序对服务器、存储系统的系统要求越来越高，单台设备有时已经无法满足需求了，此时我们有两种方法可以解决：  使用性能更高的机器，但是成本以及维护成本非常高，而且不见得适合所有的应用。  多台设备联合起来对外提供服务，这就是集群。   主机可以形成集群，存储设备也可以形成集群。目前中高端存储设备自身就有双控制器。 一些NAS设备可以在多台独立设备之间形成集群，并实现单一命名空间，即用户访问目录">
<meta property="og:locale" content="en">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-65a5b040487fbb06.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-14aeefaaa2da8d53.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-7e1a02a6d51307cf.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:updated_time" content="2019-11-13T13:27:14.000Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-65a5b040487fbb06.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">

<link rel="canonical" href="https://duyang2903.gitee.io/2019/11/15/%E5%A4%A7%E8%AF%9D%E5%AD%98%E5%82%A8%EF%BC%8C%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%8815%E7%AB%A0%EF%BC%89%EF%BC%8C%E9%9B%86%E7%BE%A4%E6%A6%82%E8%AE%BA-1/">


<script id="page-configurations">
  // https://hexo.io/docs/variables.html
  CONFIG.page = {
    sidebar: "",
    isHome: false,
    isPost: true,
    isPage: false,
    isArchive: false
  };
</script>

  <title>大话存储，学习笔记（15章），集群概论-1 | dy2903的博客</title>
  






  <noscript>
  <style>
  .use-motion .brand,
  .use-motion .menu-item,
  .sidebar-inner,
  .use-motion .post-block,
  .use-motion .pagination,
  .use-motion .comments,
  .use-motion .post-header,
  .use-motion .post-body,
  .use-motion .collection-header { opacity: initial; }

  .use-motion .site-title,
  .use-motion .site-subtitle {
    opacity: initial;
    top: initial;
  }

  .use-motion .logo-line-before i { left: initial; }
  .use-motion .logo-line-after i { right: initial; }
  </style>
</noscript>

</head>

<body itemscope itemtype="http://schema.org/WebPage">
  <div class="container use-motion">
    <div class="headband"></div>

    <header class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-container">
  <div class="site-meta">

    <div>
      <a href="/" class="brand" rel="start">
        <span class="logo-line-before"><i></i></span>
        <span class="site-title">dy2903的博客</span>
        <span class="logo-line-after"><i></i></span>
      </a>
    </div>
        <p class="site-subtitle">与肝胆人共事，从无字句读书</p>
  </div>

  <div class="site-nav-toggle">
    <div class="toggle" aria-label="Toggle navigation bar">
      <span class="toggle-line toggle-line-first"></span>
      <span class="toggle-line toggle-line-middle"></span>
      <span class="toggle-line toggle-line-last"></span>
    </div>
  </div>
</div>


<nav class="site-nav">
  
  <ul id="menu" class="menu">
        <li class="menu-item menu-item-home">

    <a href="/" rel="section"><i class="fa fa-fw fa-home"></i>Home</a>

  </li>
        <li class="menu-item menu-item-archives">

    <a href="/archives/" rel="section"><i class="fa fa-fw fa-archive"></i>Archives</a>

  </li>
  </ul>

</nav>
</div>
    </header>

    
  <div class="back-to-top">
    <i class="fa fa-arrow-up"></i>
    <span>0%</span>
  </div>


    <main class="main">
      <div class="main-inner">
        <div class="content-wrap">
          

          <div class="content">
            

  <div class="posts-expand">
      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block " lang="en">
    <link itemprop="mainEntityOfPage" href="https://duyang2903.gitee.io/2019/11/15/%E5%A4%A7%E8%AF%9D%E5%AD%98%E5%82%A8%EF%BC%8C%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%8815%E7%AB%A0%EF%BC%89%EF%BC%8C%E9%9B%86%E7%BE%A4%E6%A6%82%E8%AE%BA-1/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="dy2903">
      <meta itemprop="description" content="">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="dy2903的博客">
    </span>
      <header class="post-header">
        <h1 class="post-title" itemprop="name headline">
          大话存储，学习笔记（15章），集群概论-1
        </h1>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>

              <time title="Created: 2019-11-15 10:48:24" itemprop="dateCreated datePublished" datetime="2019-11-15T10:48:24+08:00">2019-11-15</time>
            </span>
              <span class="post-meta-item">
                <span class="post-meta-item-icon">
                  <i class="fa fa-calendar-check-o"></i>
                </span>
                <span class="post-meta-item-text">Edited on</span>
                <time title="Modified: 2019-11-13 21:27:14" itemprop="dateModified" datetime="2019-11-13T21:27:14+08:00">2019-11-13</time>
              </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
        <p>随着应用程序对服务器、存储系统的系统要求越来越高，单台设备有时已经无法满足需求了，此时我们有两种方法可以解决：</p>
<ul>
<li><p>使用性能更高的机器，但是成本以及维护成本非常高，而且不见得适合所有的应用。</p>
</li>
<li><p>多台设备联合起来对外提供服务，这就是集群。</p>
</li>
</ul>
<p>主机可以形成集群，存储设备也可以形成集群。目前中高端存储设备自身就有双控制器。</p>
<p>一些NAS设备可以在多台独立设备之间形成集群，并实现单一命名空间，<strong>即用户访问目录路径就像访问一台机器一样。</strong>屏蔽了后端访问的过程，实际上，可能是由集群中不同的节点来提供服务的。</p>
<h1 id="集群概述"><a href="#集群概述" class="headerlink" title="集群概述"></a>集群概述</h1><p>上面讲到了为什么要用<strong>集群</strong>，首先用多个节点来代替一个节点完成任务，处理能力可以得到提高，其实还可以获得<strong>高可用性</strong>，即一个节点发生故障，另外的节点可以接替故障节点。</p>
<p>我们可以把集群分为三种：</p>
<ul>
<li><p>高可用集群</p>
<p>  在HA集群中，节点分为<strong>活动节点和备份节点</strong>，当活动节点故障了以后，备份节点立即接替任务。</p>
<p>  那怎么实现<strong>切换的</strong>呢？HA集群的实现是基于<strong>资源切换</strong>。资源指的是备份节点要接管的所有东西，比如IP地址、磁盘卷、上下文等。</p>
<p>  那怎么知道需要主节点挂了呢？需要依靠<strong>操作系统上安装的HA软件。</strong>它可以监控对方<strong>节点状态</strong>，一旦发现故障，则强行将资源占有。</p>
</li>
<li><p>负载均衡集群</p>
<p>  负载均衡节点中，所有节点都参与工作。每个节点的地位相同，但是工作量怎么分配呢？可以有两种方式：</p>
<ul>
<li><p>由单独的节点来分配运算量</p>
</li>
<li><p>也可以由节点通过网络通信来协商。</p>
</li>
</ul>
</li>
<li><p>高性能集群</p>
<p>  又称科学计算集群，其实与负载均衡集群本质上是一样的 ，不过主要用于科学计算而已，所以这种集群主要面向与CPU消耗型的应用。</p>
<p>  如何把任务平均分配到每个CPU核心上呢？如果在一台计算机上则非常简单，操作系统会自动将<strong>多个线程平摊到多个CPU核心上</strong>。</p>
<p>  但是在集群里面，则可以通过网络来进行协商。为了方便编程，还开发出很多API，可以屏蔽很多编程复杂度。所以节点收到任务数据之后，再由节点操作系统自行将任务数据分派到多个CPU核心上。</p>
</li>
</ul>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-65a5b040487fbb06.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<h2 id="系统路径上的集群各论"><a href="#系统路径上的集群各论" class="headerlink" title="系统路径上的集群各论"></a>系统路径上的集群各论</h2><p>集群可以在系统路上的任何点实现。比如CPU、内存、显卡等硬件可以形成集群，软件上，应用程序、文件系统、卷管理系统也可以形成集群。</p>
<p>什么时候需要集群呢？</p>
<ul>
<li><p>当需要系统高可用的时候，也就是某处故障不会影响系统的可用，可选择使用高可用性集群</p>
</li>
<li><p>当单个系统的处理能力不能满足性能要求的时候，可使用负载均衡集群</p>
</li>
<li><p>当需要运算的数据量很大的时候，运算周期很长的时候，可使用高性能集群。</p>
</li>
</ul>
<p>下面我们一一谈一下硬件层面和软件层面的集群。</p>
<h3 id="硬件层面的集群"><a href="#硬件层面的集群" class="headerlink" title="硬件层面的集群"></a>硬件层面的集群</h3><p><img src="http://upload-images.jianshu.io/upload_images/1323506-14aeefaaa2da8d53.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<ul>
<li><p>CPU集群：体现在多CPU的计算机系统，比如对称多处理系统，多个CPU共享物理内存相互协作。</p>
</li>
<li><p>内存集群：多条内存组成更大的容量空间。比如通过<strong>双通道</strong>提高性能（相当于条带化RAID0）</p>
</li>
<li><p>以太网卡集群：将多块以太网卡绑定在一起，向上提供<strong>虚拟网卡</strong>，底层则可以通过ARP轮询负载均衡，或者HA方式的多路径访问。</p>
</li>
<li><p>以太网集群：多台设备协作转发，实现了负载均衡和HA，体现在路由器和以太网交换机上。</p>
</li>
<li><p>显卡集群：将插在总线上的多块显卡连接起来，实现对大型3D数据渲染负载均衡，性能可以得到很大的提升。</p>
</li>
<li><p>FC卡的集群：通过与主机上的<strong>多路径软件</strong>配合，多块FC卡之间可以实现流量的负载均衡和HA，或者通过FC网络中的ISL链路负载均衡、HA方式实现流量分摊</p>
</li>
<li><p>FC网络设备的集群：一般来说FC网络设备没有向以太网交换机那样实现了负载均衡和HA 。</p>
</li>
<li><p>控制器集群：几乎中高端磁盘阵列的控制器都是双控的，可以是HA关系，或者是负载均衡关系。</p>
</li>
<li><p>磁盘集群:典型的集群是RAID系统，</p>
</li>
</ul>
<h3 id="软件层面的集群"><a href="#软件层面的集群" class="headerlink" title="软件层面的集群"></a>软件层面的集群</h3><ul>
<li><p>应用程序的集群：一个应用程序可以同时启动多个实例（进程），共同完成工作 。不同实例可以运行在同一机器上，也可运行在不同的机器上，通过网络交互信息。</p>
</li>
<li><p>文件系统的集群：文件系统的集群是一个比较独立的课题。可以实现集群功能的文件系统叫<strong>集群文件系统</strong>，比如NFS、CIFS等网络文件系统，就是最简单的集群文件系统。</p>
<p>  集群文件系统主要为了解决：容量、性能、共享</p>
<ul>
<li><p>解决容量问题：比如说<strong>分布式文件系统</strong>，文件的存储其实是分散在各个节点上的，但是对外呈现统一的<strong>命名空间，也即目录</strong>。</p>
<p>也就是说分布式文件系统将每个节点的可用空间进行虚拟的整合，形成虚拟目录，对外屏蔽细节，对外根据多种策略来判断数据流向，将数据写入实际的空间里面。</p>
</li>
<li><p>解决性能问题。</p>
<p>同样的，可以使用多个节点来获得高性能。集群文件系统使得每个节点不必连接昂贵的磁盘阵列，就可以获得较高的文件IO性能。</p>
<p>在分布式文件系统的<strong>虚拟整合目录</strong>之上，采用了类似条带RAID 0的方式，依据负载均衡策略，将每次IO写入的数据，负载分担到所有节点上，节点获得的性能越多提升就越大。</p>
<p>但是实际上，集群文件系统实施起来不那么容易，需要经过长时间的调优。</p>
</li>
<li><p>解决共享访问的问题。</p>
<p>这是集群文件系统要解决的<strong>最重要的问题</strong>，也就是多节点共同访问相同目录和相同文件时一致性的问题。</p>
<p>集群文件系统需要考虑多个节点同时读写相同文件，保证所有节点都能读到一致性的数据，并利用分布式锁机制保证允许的性能下，节点之间不会写冲突。</p>
<p>常用的集群文件系统有PVFS,GFS,DFS，Lustre等</p>
</li>
</ul>
</li>
<li><p>卷管理系统集群</p>
<p>  本机的卷和本机和远程的卷进行镜像等协同操作，形成集群。<br><img src="http://upload-images.jianshu.io/upload_images/1323506-7e1a02a6d51307cf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
</li>
</ul>

    </div>

    
    
    

      <footer class="post-footer">

        

          <div class="post-nav">
            <div class="post-nav-next post-nav-item">
                <a href="/2019/11/15/%E5%A4%A7%E8%AF%9D%E5%AD%98%E5%82%A8%EF%BC%8C%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%8814%E7%AB%A0%EF%BC%89%EF%BC%8C-%E8%99%9A%E6%8B%9F%E5%8C%96/" rel="next" title="大话存储，学习笔记（14章），-虚拟化">
                  <i class="fa fa-chevron-left"></i> 大话存储，学习笔记（14章），-虚拟化
                </a>
            </div>

            <span class="post-nav-divider"></span>

            <div class="post-nav-prev post-nav-item">
                <a href="/2019/11/15/%E5%A4%A7%E8%AF%9D%E5%AD%98%E5%82%A8%EF%BC%8C%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%8813%E7%AB%A0%EF%BC%89%EF%BC%8C%E5%8D%8F%E8%AE%AE%E8%9E%8D%E5%90%88/" rel="prev" title="大话存储，学习笔记（13章），协议融合">
                  大话存储，学习笔记（13章），协议融合 <i class="fa fa-chevron-right"></i>
                </a>
            </div>
          </div>
      </footer>
    
  </article>
  
  
  

  </div>


          </div>
          

        </div>
          
  
  <div class="toggle sidebar-toggle">
    <span class="toggle-line toggle-line-first"></span>
    <span class="toggle-line toggle-line-middle"></span>
    <span class="toggle-line toggle-line-last"></span>
  </div>

  <aside class="sidebar">
    <div class="sidebar-inner">

      <ul class="sidebar-nav motion-element">
        <li class="sidebar-nav-toc">
          Table of Contents
        </li>
        <li class="sidebar-nav-overview">
          Overview
        </li>
      </ul>

      <!--noindex-->
      <div class="post-toc-wrap sidebar-panel">
          <div class="post-toc motion-element"><ol class="nav"><li class="nav-item nav-level-1"><a class="nav-link" href="#集群概述"><span class="nav-number">1.</span> <span class="nav-text">集群概述</span></a><ol class="nav-child"><li class="nav-item nav-level-2"><a class="nav-link" href="#系统路径上的集群各论"><span class="nav-number">1.1.</span> <span class="nav-text">系统路径上的集群各论</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#硬件层面的集群"><span class="nav-number">1.1.1.</span> <span class="nav-text">硬件层面的集群</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#软件层面的集群"><span class="nav-number">1.1.2.</span> <span class="nav-text">软件层面的集群</span></a></li></ol></li></ol></li></ol></div>
      </div>
      <!--/noindex-->

      <div class="site-overview-wrap sidebar-panel">
        <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
  <p class="site-author-name" itemprop="name">dy2903</p>
  <div class="site-description" itemprop="description"></div>
</div>
<div class="site-state-wrap motion-element">
  <nav class="site-state">
      <div class="site-state-item site-state-posts">
          <a href="/archives/">
        
          <span class="site-state-item-count">20</span>
          <span class="site-state-item-name">posts</span>
        </a>
      </div>
      <div class="site-state-item site-state-tags">
        <span class="site-state-item-count">2</span>
        <span class="site-state-item-name">tags</span>
      </div>
  </nav>
</div>
  <div class="feed-link motion-element">
    <a href="/atom.xml" rel="alternate">
      <i class="fa fa-rss"></i>RSS
    </a>
  </div>



      </div>

    </div>
  </aside>
  <div id="sidebar-dimmer"></div>


      </div>
    </main>

    <footer class="footer">
      <div class="footer-inner">
        

<div class="copyright">
  
  &copy; 
  <span itemprop="copyrightYear">2019</span>
  <span class="with-love">
    <i class="fa fa-user"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">dy2903</span>
</div>
  <div class="powered-by">Powered by <a href="https://hexo.io/" class="theme-link" rel="noopener" target="_blank">Hexo</a> v4.0.0
  </div>
  <span class="post-meta-divider">|</span>
  <div class="theme-info">Theme – <a href="https://pisces.theme-next.org/" class="theme-link" rel="noopener" target="_blank">NexT.Pisces</a> v7.5.0
  </div>

        












        
      </div>
    </footer>
  </div>

  
  <script src="/lib/anime.min.js"></script>
  <script src="/lib/velocity/velocity.min.js"></script>
  <script src="/lib/velocity/velocity.ui.min.js"></script>
<script src="/js/utils.js"></script><script src="/js/motion.js"></script>
<script src="/js/schemes/pisces.js"></script>
<script src="/js/next-boot.js"></script>



  
















  

  

</body>
</html>
